【iOSDC Japan 2024 レポート】DAY2「visionOSで空間演出を実現する方法」を聞いてきた。

リルオッサ

2024.08.26

はじめに

年に一度のiOSエンジニアの為のお祭りiOSDC Japan 2024に参加しています。

せっかくなので、参加したセッションのレポートを書きたいと思います。

visionOSで空間演出を実現する方法

登壇者

服部智さん

概要

Apple Vision Proには、2D動画を再生するとその場面に応じて現実空間に対して演出効果が表示されるという、
とても面白い機能を持つアプリがあります。

例えば、突然飛行機が上空を通り過ぎたり、周辺がヨーロッパの街並みに変わったり、たくさんの風船が表示されたり。

グラス型端末の没入感と相まって、これまでとは一線を画した斬新な体験です。

この面白い機能はどうやって実装するのでしょう。
何がきっかけで演出が始まるのでしょうか？
演出はどう作るのでしょうか？
動画のスキップ、一時停止には対応しているのでしょうか？

これらの疑問に答えるため、このセッションでは、Swiftネイティブの環境でその機能をいくつか実装していきます。
作業手順を説明しソースコードを解説し、ライブデモを行います。

具体的には以下の内容をカバーします：

HLS動画へのmeta data埋め込み

OSCによる外部からの制御

演出開始、任意発火、発火制御ボタンの実装と作法

周辺を変える演出、戻る演出

Particleによる演出

このセッションを通じて、参加者は実際にvisionOSでの空間演出を実装するための具体的な手法を学び、自分で独自の体験を作り上げるスキルを身につけることができます。
visionOSの可能性を知り、今後も体験が進化していくワクワクを届けたいと思います。

引用: fortee

資料

感想

このトークでは、Apple Vision Proを使った空間的な演出事例が紹介され、具体的な実装方法が解説されました。

登壇者の服部さんは、visionOS 300DaysというリポジトリのオーナーとしてvisionOSでの実装やTipsを共有されていたり、

Apple Vision Pro開発に関する書籍を出版されています。

今回のトークの中で空間表現が面白いアプリとして、GUCCIアプリの一例を挙げており、動画の進行に従って空間表現を表示する方法と実装を解説していただけました。

「アパレルブランドがどうやって、Apple Vision Pro アプリに参入するのか？」 と疑問に思っていたのですが、GUCCIのような一例を紹介していただき、そのような参入方法があるのかと勉強になりました。
表現方法を紹介した上で、実際にどうやって同じような表現を実装するのか、2D動画と現実空間を融合させるエフェクトの作り方、特にメタデータを利用した制御やパーティクルを用いた演出の詳細が示され、非常に実践的な内容でした。

紹介していただいた内容はざっくり下記のような感じで